在计算机断层扫描(CT)和磁共振成像(MRI)的影像中肝脏与邻近脏器的灰度值相似性都比较高,为自动精确地分割肝脏,提出一种基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法MAGNet (Multi-scale feature fusion And Grid attention mechanism Network)。首先,通过注意力引导连接模块来连接高层特征和低层特征以提取出重要的上下文信息,并且在注意力引导连接模块中引入网格注意力机制来关注感兴趣的分割区域;然后,通过在单个特征图中按通道数进行分层连接形成多尺度特征融合模块,并用该模块替换基础卷积块以获取多尺度语义信息;最后,利用深度监督机制解决梯度消失、梯度爆炸和收敛过慢等问题。实验结果表明:在3DIRCADb数据集上,与U3-Net+DC方法相比,MAGNet在Dice相似系数(DSC)指标上提升了0.10个百分点,在相对体积差(RVD)指标上降低了1.97个百分点;在Sliver07数据集上,与CANet方法相比,MAGNet在DSC指标上提升了0.30个百分点,在体素重叠误差(VOE)指标上降低了0.68个百分点,在平均对称表面距离(ASD)和对称位置表面距离的均方根(RMSD)指标上分别降低了0.03 mm和0.22 mm;在某医院肝脏MRI数据集上,MAGNet在所有指标上也均具有良好的结果。另外,将MAGNet应用于3DIRCADb数据集和某医院肝脏MRI数据集进行混合形成的数据集,也取得了非常有竞争力的分割效果。
针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。